超分辨成像是将成像系统获得的单帧或多帧低分辨率图像通过计算的方式获得高分辨率图像的一种技术。经过了近几十年的研究,它被广泛应用于多个领域,例如遥感、摄影以及高光谱成像等多种成像系统中[1]。应用超分辨成像方法能够带来诸多好处,例如降低成像系统对于高成本高分辨率探测器的依赖,降低采集、存储和传输过程中的数据量,以及通过预处理的方式提升计算机视觉中目标识别等高级应用的精度。
自从光学显微镜和天文望远镜诞生以来,人们在不断寻求着提高光学分辨率的方法,从而观测到更多物体细节。但是基于光的衍射理论,光学系统的分辨率存在极限,其极限可由下式计算:
(1)
式中,λ 为波长;为光学焦距;D 为光学系统口径。如果两个物点之间的距离小于 即无法分辨。由式(1)可见,在焦距不变的情况下,想要提升系统的衍射分辨能力可以扩大光学系统的口径或减小工作波长。
而在评价显微系统的分辨率时,通常利用数值孔径NA =nsinα 来表示系统集光能力,其分辨率可写为:
(2)
由上式可知,要想提高显微系统的分辨率则需要提高相对孔径,在波长为可见光时,即使使用油浸透镜将 NA 提高到 1 以上,分辨率极限也不小于200 nm,限制了系统对物体细节进一步分辨。
此外,光电成像系统的分辨率除了与光学镜头有关外,还与探测器像元大小有关。这种分辨率称为几何分辨率,如式(3)所示:
(3)
其中,Δx 为像元大小;为焦距;R 为探测距离。可见,像元越小,传感器的空间采样频率越高,丢失高频信息越少。根据 Johnson 准则,要探测到一个目标,其需要在探测器上占 1.5 个像元;要识别一个目标则需要占 6 个像元。物体在探测器靶面上成像大小相同的情况下,小像元更有利于目标的探测与识别。
由于体积重量以及制造工艺的限制,光学系统的口径与 NA 不可能无限增大,传感器像元也不可能无限缩小[2]。因此超分辨理论与技术应运而生,根据研究对象的不同可分为衍射超分辨与几何超分辨,根据应用场景的不同,又可分为用于生物显微镜、投影光刻系统、光盘存储系统、地基望远镜、视网膜成像等不同用途的超分辨技术。
该成像系统中利用一束激发光和一束损耗光来实现超分辨[3]。其原理如图 1所示,首先利用激发光来照射衍射斑范围内的荧光分子,使其处于激发态;然后利用环形损耗光照射,使损耗光照射区域外环的电子以受激发射的方式回到基态;内环的电子仍然以自发荧光的方式回到基态。这样探测器仅能接收到来自于光斑中心的光,光斑大小远低于衍射极限。
结构光照明显微镜技术(SIM) 和 STED 技术均可归于基于特殊强度分布照明光场的显微成像技术一类[4]。SIM 技术使用结构光照明,探测器采集到几束不同的结构光和物体在不同角度混频所产生的摩尔条纹,最后对条纹进行解码,生成三维高分辨率图像,如图 2所示。SIM 方法的超分辨能力取决于空间光调制器产生的光栅的粗细,由于光栅也受到衍射极限的限制,因此最高能达到常规分辨率的 2 倍。但利用饱和非线性效应,可进一步将 SIM 的分辨率提升到 50 nm 左右[5]。
光激活定位显微术( PALM)[6]和随机光学重构显微镜术( STORM)[7]这两种技术原理非常相像,均是基于随机单分子定位技术,即每次仅激活几个荧光分子,并准确定位单个荧光分子点扩展函数的中心,再通过循环叠加来合成高分辨率图像,如图3和4所示。
光瞳滤波器一般为位于光学系统光瞳处的超分辨衍射元件(DSE),其具有很多个同心环带,且每个环带具有不同的位相或透过率函数,从而缩小衍射花样的主斑大小,提高光学系统的分辨率,如图5所示。
合成孔径又称稀疏孔径,是对多个子孔径的不同接收光束进行相位调整后相干叠加,得到一个其分辨率等效为更大口径系统的分辨率的光学成像系统[8]。其形式主要分为共用次镜结构和多望远镜结构,如图 6 所示。合成孔径的方法被广泛应用在天文望远镜上,主要解决大口径望远镜的主镜制作加工困难的问题。
光子筛是一种衍射光学元件,其设计原理与菲涅尔波带片相似,只是将波带片的环带处设计成了大量微孔,如图7所示。光子筛可以达到比其特征尺寸更小的超分辨效果,并且能够很好的抑制旁瓣效应。其使用PI柔性材料作为基底,重量轻,因此可用于制造大口径的空间望远镜。但由于光子筛采用孔来替代透光环带,其衍射效率比波带片低,且工作波长很窄。目前研究人员提出了复合型的光子筛以解决上述问题。
一个带限函数,如果它的局部振荡速度比其最高的傅里叶分量更快,就称之为超振荡函数。被超振荡函数调制的光学波前可以在远场传输场中利用相干叠加产生超分辨聚焦光斑。
2015年中科院成都光电院罗先刚团队设想将超振荡元件用于实现大望远镜的超分辨成像,并进行原理验证实验[9]。他们利用平行光管,以及一个基于超精密激光加工技术刻有两个相距很近的微孔的平板来模拟无穷远处的两个物点,后方用一个 4 系统和CCD 进行成像,如图 8 所示。瑞利判据下该系统极限分辨长度为 81.13μm,正常成像时相隔 55 μm 的两个小孔无法分辨开,但在成像系统出瞳处加入超振荡透镜进行波前调制后,两小孔能够分辨开。此系统可实现 0. 55 倍衍射极限的超分辨效果。
该方法为软硬件结合方法,既可以采用棱镜分光的方法,也可以采用两线阵 CCD 在焦平面集成的方法,以达到从低分辨率图像中提取冗余信息的目的。利用两排 CCD 成像的方法如图 9所示,使两排 CCD 线阵在焦平面位置并排且错开 0.5 个像元,这样两排 CCD 在同一视场上获得两幅图像,再经过坐标校准、数据处理及图像融合获得高分辨率图像。
焦平面编码是将每个像元都去掉 1 /m,提高频域带宽从而实现超分辨。其采用两列完全一样的线阵探测器相隔几个像元并排放置,其中一列翻转180°,原理如图 10 所示。两列像元探测器顺序输出的灰度值不同,相当于对每个像元编了不同的码,由此可以解算出每隔 1 /m 感光区处所对应的灰度值,从而重建出一幅高分辨图像。
随着光学技术的不断发展,超分辨成像技术新原理和新方法不断涌现,每一种方法均对应着特定的应用领域,且各自存在优缺点。
在超分辨荧光显微成像方法中,STED 技术的空间分辨率可达到 10 nm 以下,且时间分辨率高,但较易损伤活体细胞。SIM 技术对空间分辨率提高有限,但具有照明光功率低,时间分辨率高的优点。PALM 与 STORM 空间分辨率高且可宽场成像,但其时间分辨率较差。
对于目标领域为空间探测的超分辨成像方法,合成孔径技术可以避免制造超大口径主镜,但不同孔径的接收光需精密调整相位再叠加;光子筛技术可用于制作柔性大口径空间望远镜,缺点是衍射效率低,工作波段窄;超振荡技术可获得无需后续图像处理的超分辨效果,但工作波长比较单一。亚像元和焦平面编码技术主要应用于非衍射受限系统,它们通过前期硬件的改变和后续图像处理可以实现在光学镜头不变的情况下提高空间采样频率。
而随着计算机算力的提升和深度学习理论的发展,目前已经有学者应用神经网络对图像进行超分辨处理,且取得了的一定效果[2]。
^张旭东. 基于压缩感知和深度学习的超分辨成像方法研究[D].中国科学院大学(中国科学院上海技术物理研究所),2019..
^刘畅,金璐頔,叶安培.微球透镜超分辨成像研究进展与发展前景[J].激光与光电子学进展,2016,53(07):25-37..
^Willig K I,Kellner R R,Medda R,et al. Nano scale reso-lution in GFP based microscopy[J]. Nature Methods,2006,3(9):721 - 723..
^R Neher,E Neher. Optimizing imaging parameters for theseparation of multiple labels in a fluorescence image[J].Journal of microscopy,2004,213(1):46 - 62..
^Mats GL Gustafeson. Nonlinear structured - illuminationmicroscopy: wide - field fluorescence imaging with theo-retically unlimited resolution [J]. Proceedings of the-National Academy of Sciences of the United States of A-merica,2005,102(37):13081 - 13086..
^Rust M J,Bates M,Zhuang X W. Sub - diffraction - limitimaging by stochastic optical reconstruction microscopy(STORM)[J]. Nature Methods,2006,3(10):793 -796..
^ Zong W,Zhao J,Chen X,et al. Large - field high - reso-lution twophoton digital scanned light - sheet microscopy[J]. Cell Research,2014,25:254 - 257..
^乔彦峰,刘坤,段相永.光学合成孔径成像技术及发展现 状 [J]. 中国光学与应用光学,2009,2 ( 3 ):175-182..
^Changtao Wang,Dongliang Tang,Yanqin Wang,et al.Su-per- resolution optical telescopes with local light diffrac-tion shrinkage[J]. Scientific Report,2015,5:18485..
暂无